在本文中,我们提出了一个新的低级矩阵分解模型,称为有界的单纯形成矩阵分解(BSSMF)。给定输入矩阵$ x $和一个分解等级$ r $,BSSMF寻找带有$ r $ lum $ $ columns的矩阵$ w $和a矩阵$ h $,带有$ r $行,以便$ x \ lot在$ w $的每一列中,都有边界,也就是说,它们属于给定的间隔,$ h $的列属于概率单纯词,即,$ h $是列随机。 BSSMF概括了非负矩阵分解(NMF)和单纯结构的矩阵分解(SSMF)。当输入矩阵$ x $的条目属于给定间隔时,BSSMF特别适合。例如,当$ x $的行代表图像时,或$ x $是一个额定矩阵,例如在Netflix和Movielens数据集中,其中$ x $的条目属于Interval $ [1,5] $。单纯结构的矩阵$ h $不仅导致易于理解的分解,从而提供了$ x $的列的软聚类,而且暗示着$ wh $的每个列的条目属于与$的列的相同间隔W $。在本文中,我们首先提出了BSSMF的快速算法,即使在$ x $中缺少数据的情况下。然后,我们为BSSMF提供可识别性条件,也就是说,我们提供了BSSMF承认独特分解的条件,直到微不足道的歧义。最后,我们说明了BSSMF对两个应用程序的有效性:在一组图像中提取特征,以及推荐系统的矩阵完成问题。
translated by 谷歌翻译
非负矩阵分解(NMF)模型被广泛用于恢复线性混合的非负数据。当数据是由连续信号采样的数据时,NMF中的因素可能被限制为非负合理函数的样本,这些函数允许相当通用的模型。使用Rational功能(R-NMF)称之为NMF。我们首先表明,在温和的假设下,R-NMF与NMF不同,这在基本上是独特的分解,这在需要恢复地面实际因素(例如盲源分离问题)的应用中至关重要。然后,我们提出了求解R-NMF的不同方法:R-HANLS,R-ANLS和R-NLS方法。从我们的测试中,没有什么方法明显优于其他方法,并且在时间和准确性之间应进行权衡。确实,R-Hanls对于大型问题而言是快速准确的,而R-ANLS更准确,但在时间和内存中都需要更多的资源。 R-NLS非常准确,但仅针对小问题。此外,我们表明R-NMF在各种任务中的表现都优于NMF,包括恢复半合成连续信号,以及实际高光信号的分类问题。
translated by 谷歌翻译
子空间聚类是将大约位于几个低维子空间的数据样本集合集合的经典问题。此问题的当前最新方法基于自我表达模型,该模型表示样品是其他样品的线性组合。但是,这些方法需要足够广泛的样品才能准确表示,这在许多应用中可能不一定是可以访问的。在本文中,我们阐明了这个常见的问题,并认为每个子空间中的数据分布在自我表达模型的成功中起着至关重要的作用。我们提出的解决此问题的解决方案是由数据扩展在深神经网络的概括力中的核心作用引起的。我们为无监督和半监督的设置提出了两个子空间聚类框架,这些框架使用增强样品作为扩大词典来提高自我表达表示的质量。我们提出了一种使用一些标记的样品进行半监督问题的自动增强策略,该问题取决于数据样本位于多个线性子空间的联合以下事实。实验结果证实了数据增强的有效性,因为它显着提高了一般自我表达模型的性能。
translated by 谷歌翻译
深矩阵因子化(深MF)是最新的无监督数据挖掘技术,其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致,因为在不同层上使用了不同的损失。在本文中,我们引入了深层MF的两个有意义的损失功能,并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化(例如稀疏性,非负和最小体积)来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据,即高光谱的不混合和提取面部特征。
translated by 谷歌翻译
给定非负矩阵分解,$ r $和一个分解等级,$ r $,精确的非负矩阵分解(确切的NMF)将$ r $分解为两个非负矩阵的产品,$ c $和$ r $列,例如$ r = cs^\ top $。文献中的一个中心研究主题是这种分解是独特/可识别的条件,直到琐碎的歧义。在本文中,我们关注部分可识别性,即$ c $和$ s $的列的独特性。我们从化学计量学文献的基于数据的唯一性(DBU)定理开始研究。 DBU定理分析了确切NMF的所有可行解决方案,并依赖于$ C $和$ S $的稀疏条件。我们提供了最近出版的DBU定理限制版本的数学严格定理,仅依靠简单的稀疏性和代数条件:它适用于特定的确切NMF解决方案(与所有可行解决方案相对),并允许我们保证部分单列的独特性,$ c $或$ s $。其次,基于对受限制的DBU定理的几何解释,我们获得了新的局部可识别性结果。我们证明它比受限的DBU定理强,因为使用了精确的NMF进行适当的预处理。这种几何解释还导致我们在$ r = 3 $的情况下取得了另一个部分可识别性结果。第三,我们展示了如何顺序使用部分可识别性结果来确保$ c $和$ s $的更多列的可识别性。我们在几个示例中说明了这些结果,其中包括化学计量学文献的一个示例。
translated by 谷歌翻译
在本文中,我们提出了一个算法框架,称为乘数的惯性交替方向方法(IADMM),用于求解与线性约束线性约束的一类非convex非conmooth多块复合优化问题。我们的框架采用了一般最小化 - 更大化(MM)原理来更新每个变量块,从而不仅统一了先前在MM步骤中使用特定替代功能的AMDM的收敛分析,还导致新的有效ADMM方案。据我们所知,在非convex非平滑设置中,ADMM与MM原理结合使用,以更新每个变量块,而ADMM与\ emph {Primal变量的惯性术语结合在一起}尚未在文献中研究。在标准假设下,我们证明了生成的迭代序列的后续收敛和全局收敛性。我们说明了IADMM对一类非凸低级别表示问题的有效性。
translated by 谷歌翻译
在依赖添加剂线性组合的模型中,出现了多个右侧(MNNL)的非负平方问题。特别是,它们是大多数非负矩阵分解算法的核心,并且具有许多应用。已知非负约束自然有利于稀疏性,即几乎没有零条目的解决方案。但是,它通常可以进一步增强这种稀疏性很有用,因为它可以提高结果的解释性并有助于减少噪声,从而导致稀疏的MNNL问题。在本文中,与大多数实施稀疏柱或行的大多数作品相反,我们首先引入了稀疏MNNL的新颖配方,并具有矩阵的稀疏性约束。然后,我们提出了一种两步算法来解决这个问题。第一步将稀疏的MNNL划分为子问题,每列的原始问题一列。然后,它使用不同的算法来确切或大约为每个子问题产生一个帕累托正面,即产生一组代表重建误差和稀疏性之间不同权衡的解决方案。第二步选择了这些帕累托前部之间的解决方案,以构建一个稀疏约束矩阵,以最大程度地减少重建误差。我们对面部和高光谱图像进行实验,我们表明我们提出的两步方法比最新的稀疏编码启发式方法提供了更准确的结果。
translated by 谷歌翻译
在本文中,我们介绍了泰坦(Titan),这是一种新型的惯性块最小化框架,用于非平滑非凸优化问题。据我们所知,泰坦是块坐标更新方法的第一个框架,该方法依赖于大型最小化框架,同时将惯性力嵌入到块更新的每个步骤中。惯性力是通过外推算子获得的,该操作员累积了重力和Nesterov型加速度,以作为特殊情况作为块近端梯度方法。通过选择各种替代功能,例如近端,Lipschitz梯度,布雷格曼,二次和复合替代功能,并通过改变外推操作员来生成一组丰富的惯性块坐标坐标更新方法。我们研究了泰坦生成序列的子顺序收敛以及全局收敛。我们说明了泰坦对两个重要的机器学习问题的有效性,即稀疏的非负矩阵分解和矩阵完成。
translated by 谷歌翻译
This article formulates a generic representation of a path-following controller operating under contained motion, which was developed in the context of surgical robotics. It reports two types of constrained motion: i) Bilateral Constrained Motion, also called Remote Center Motion (RCM), and ii) Unilaterally Constrained Motion (UCM). In the first case, the incision hole has almost the same diameter as the robotic tool. In contrast, in the second state, the diameter of the incision orifice is larger than the tool diameter. The second case offers more space where the surgical instrument moves freely without constraints before touching the incision wall. The proposed method combines two tasks that must operate hierarchically: i) respect the RCM or UCM constraints formulated by equality or inequality, respectively, and ii) perform a surgical assignment, e.g., scanning or ablation expressed as a 3D path-following task. The proposed methods and materials were tested first on our simulator that mimics realistic conditions of middle ear surgery, and then on an experimental platform. Different validation scenarios were carried out experimentally to assess quantitatively and qualitatively each developed approach. Although ultimate precision was not the goal of this work, our concept is validated with enough accuracy (inferior to 100 micrometres) for ear surgery.
translated by 谷歌翻译
Several self-supervised representation learning methods have been proposed for reinforcement learning (RL) with rich observations. For real-world applications of RL, recovering underlying latent states is crucial, particularly when sensory inputs contain irrelevant and exogenous information. In this work, we study how information bottlenecks can be used to construct latent states efficiently in the presence of task-irrelevant information. We propose architectures that utilize variational and discrete information bottlenecks, coined as RepDIB, to learn structured factorized representations. Exploiting the expressiveness bought by factorized representations, we introduce a simple, yet effective, bottleneck that can be integrated with any existing self-supervised objective for RL. We demonstrate this across several online and offline RL benchmarks, along with a real robot arm task, where we find that compressed representations with RepDIB can lead to strong performance improvements, as the learned bottlenecks help predict only the relevant state while ignoring irrelevant information.
translated by 谷歌翻译